Vào năm 1923, ông được gửi trở lại Hy Lạp để thành lập Liên minh Thanh niên Cộng sản Hy Lạp (OKNE). Sau khi bị bắt giam, ông bỏ trốn về Liên Xô. Vào năm 1931, ông lại quay về Hy Lạp để lập lại trật tự trong đảng KKE, vốn đang bị chia rẽ bởi nạn kết bè kết phái, và trong cùng năm đó, ông được bầu làm Tổng Bí thư của KKE. Vào năm 1935, trong Đại hội Quốc tế Cộng sản Lần thứ 7, ông được bầu vào Uỷ ban Chấp hành. Trong những năm từ 1931 cho đến năm 1936, Zachariadis là một lãnh đạo rất thành công của KKE, số đảng viên của đảng này tăng lên gấp 3 lần, giành được nhiều ghế trong Quốc hội Hy Lạp, và thậm chí còn giành được quyền kiểm soát một số liên hiệp công nhân.

Tháng 8 năm 1936, ông bị nhân viên An ninh Quốc gia dưới quyền tổng thống Ioannis Metaxas bắt và giam giữ. Trong tù, ông viết và tuồn ra ngoài một bức thư kêu gọi mọi người dân Hy Lạp đứng lên chống lại cuộc xâm lược của phát xít Ý tháng 10 năm 1940 và biến cuộc chiến tranh này thành mặt trận chung chống lại chủ nghĩa phát xít. Một số cán bộ thuộc đảng KKE, nghĩ rằng cuộc chiến tranh này chỉ là sự tranh giành quyền lực giữa các siêu cường thế giới giống như Chiến tranh Thế giới thứ nhất, do có sự góp mặt của Liên Xô, đã cho rằng lá thư này là do chính quyền Metaxas làm giả. Zachariadis còn bị kết tội đưa ra lá thư này để lấy lòng giám đốc Cục An ninh Nội địa Konstantinos Maniadakis và nhờ đó sẽ được thả.[1] Tuy nhiên, lá thư của Zachariadis vẫn là một cột mốc tối quan trọng của KKE, đánh dấu một đóng góp rất lớn của đảng này cho phong trào Kháng chiến Toàn quốc chống lại quân phát xít xâm lược (1941-1944).

Sau khi Đức xâm lược Hy Lạp, vào năm 1941 Đức Quốc xã áp giải ông đến trại tập trung Dachau, sau này ông được thả vào tháng 5 năm 1945. Trở về Hy Lạp, ông tái nhậm chức Tổng Bí thư thế chỗ Georgios Siantos, là quyền Tổng Bí thư từ tháng 1 năm 1942. Sự kiện Dekemvriana đẫm máu vừa kết thúc với thất bại của phe cộng sản. Zachariadis giờ đây tuyên bố ý định chính trị của ông, lãnh đạo KKE chiến đấu giành quyền dân chủ và tự do cho người dân thông qua bầu cử.